วัดเขาวังตั้งอยู่บนเขาวังเดิมซึ่งชื่อว่า เขาสัตตนาถ เพราะ เป็นที่อยู่อาศัยของสัตว์หลายชนิด อาทิ เก้ง กวาง ลิง ฯลฯ ที่เขาสัตตนาถเดิมมีวัดอยู่วัดหนึ่งอยู่ตรงเชิงเขาด้านทิศตะวันออก แต่ร้างมานาน มีการบันทึกไว้ว่าเป็นวัดที่สร้างขึ้นโดยสมเด็จพระเจ้ากรุงธนบุรี และทรงโปรดฯ ให้ยกกระบัตรเมืองราชบุรีเป็นผู้อำนวยการสร้าง เพื่อเป็นอนุสรณ์ที่พระองค์พร้อมด้วยสมเด็จเจ้าพระยามหากษัตริย์ศึก ได้ทรงยกกองทัพที่ตีกองทัพพม่า และพระราชทานนามวัดนี้ว่า วัดเขาสัตตนาถ[1]

ในรัชสมัยพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว พระองค์ทรงโปรดฯ ให้สร้างพระราชวังขนาดเล็กบนเขานี้ และไม่ปรากฏว่าได้รับพระราชทานนามอย่างใดไว้ ชาวเมืองราชบุรีเรียกกันแต่เพียงว่า เขาวัง พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวมาประทับที่พระราชวังแห่งนี้เพียงครั้งเดียว พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว ก็ไม่ทรงโปรดและมิได้เสด็จไปประพาสเลย พระราชวังนี้จึงถูกทิ้งร้างอยู่ตลอดรัชกาล ในสมัยพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว พระราชวังกลายสภาพเป็นป่ารกชัฏเป็นที่อาศัยของสัตว์ป่านานาชนิด

จนถึง พ.ศ. 2467 พระครูพรหมสมาจารและพระครูภาวนานิเทศก์ ได้เดินทางปฏิบัติธุดงค์วัตรมาถึง ณ เขาวัง เห็นว่าเหมาะแก่การปฏิบัติธรรม ได้บูรณะขึ้นใหม่ ต่อมาเมื่อวันที่ 28 กุมภาพันธ์ พ.ศ. 2471 พระครูพรหมสมาจารได้มอบหมายให้หลวงสวรรค์เทพกิจ คหบดีของเมืองราชบุรี กับพระยาอรรถกวี สุนทร ข้าหลวงประจำจังหวัดราชบุรี ทำการยื่นเรื่องขอพระราชทานพระราชวังกับกับภูเขาสัตตนาถให้เป็นที่ธรณีสงฆ์เหมือนดังเดิม พระครูพรหมสมาจารจึงได้ทำการรื้อพระราชวังที่ประทับเฉพาะส่วนที่ชำรุดทรุดโทรม แล้วต่อเติมกำแพงผนังโดยเสริมคอนกรีตจากกำแพงผนังพระราชวังเดิม สร้างเป็นพระอุโบสถ โดยเทคอนกรีตทั้งหลัง มุงด้วยกระเบื้องเคลือบ ติดช่อฟ้า ใบระกา ลงรักปิดทอง ติดกระจก โดยได้รับพระราชทานวิสุงคามสีมา เมื่อวันที่ 22 เมษายน พ.ศ. 2473 และดำเนินการก่อสร้างแล้วเสร็จ เมื่อ พ.ศ. 2475[2]